Fine-grained population maps are needed in several domains, like urban planning, environmental monitoring, public health, and humanitarian operations. Unfortunately, in many countries only aggregate census counts over large spatial units are collected, moreover, these are not always up-to-date. We present POMELO, a deep learning model that employs coarse census counts and open geodata to estimate fine-grained population maps with 100m ground sampling distance. Moreover, the model can also estimate population numbers when no census counts at all are available, by generalizing across countries. In a series of experiments for several countries in sub-Saharan Africa, the maps produced with POMELOare in good agreement with the most detailed available reference counts: disaggregation of coarse census counts reaches R2 values of 85-89%; unconstrained prediction in the absence of any counts reaches 48-69%.
translated by 谷歌翻译
Inspired by progress in large-scale language modeling, we apply a similar approach towards building a single generalist agent beyond the realm of text outputs. The agent, which we refer to as Gato, works as a multi-modal, multi-task, multi-embodiment generalist policy. The same network with the same weights can play Atari, caption images, chat, stack blocks with a real robot arm and much more, deciding based on its context whether to output text, joint torques, button presses, or other tokens. In this report we describe the model and the data, and document the current capabilities of Gato.
translated by 谷歌翻译
我们开发了对对抗估计量（“ A-估计器”）的渐近理论。它们将最大样品型估计量（“ M-估计器”）推广为平均目标，以通过某些参数最大化，而其他参数则最小化。该课程涵盖了瞬间的瞬间通用方法，生成的对抗网络以及机器学习和计量经济学方面的最新建议。在这些示例中，研究人员指出，原则上可以使用哪些方面进行估计，并且对手学习如何最佳地强调它们。我们在重点和部分识别下得出A估计剂的收敛速率，以及其参数功能的正态性。未知功能可以通过筛子（例如深神经网络）近似，我们为此提供简化的低级条件。作为推论，我们获得了神经网络估计剂的正态性，克服了文献先前确定的技术问题。我们的理论产生了有关各种A估计器的新成果，为它们在最近的应用中的成功提供了直觉和正式的理由。
translated by 谷歌翻译
谷歌的运营洪水预测系统是制定的，为机构和公众提供准确的实时洪水警告，重点是河流洪水在大型潮流的河流中。它在2018年开始运作，自从地理位置扩展以来。该预测系统由四个子系统组成：数据验证，阶段预测，淹没建模和警报分配。机器学习用于两个子系统。阶段预测采用长短期内存（LSTM）网络和线性模型进行建模。使用阈值和歧管模型计算洪水淹没，前者计算淹没程度，后者计算淹没程度和深度。本文首次提供的歧管模型提供了一种机器学习替代洪水淹没的液压建模。在评估历史数据时，所有型号都可以实现可操作使用的足够高的度量指标。 LSTM表现出比线性模型更高的技能，而阈值和歧管模型达到了类似的性能度量，以便在淹没程度上进行建模。在2021年的季风季节期间，洪水预警系统在印度和孟加拉国运营，覆盖河流的洪水区，总面积287,000平方公里，拥有350多万人。超过100米的洪水警报被发送给受影响的人口，相关当局以及紧急组织。系统上的当前和未来的工作包括将覆盖范围扩展到额外的洪水易发位置，以及提高建模能力和准确性。
translated by 谷歌翻译
本文讨论了具有丰富记录数据的域中的政策选择问题，但互动预算有限。解决此问题将在行业，机器人和推荐领域中安全评估和部署离线强化学习政策等。已经提出了几种违规评估（OPE）技术以评估仅使用记录数据的策略的值。然而，OPE的评估与真实环境中的完整在线评估之间仍然存在巨大差距。然而，在实践中通常不可能进行大量的在线互动。为了克服这个问题，我们介绍了\ emph {主动脱机策略选择} - 一种新的顺序决策方法，将记录数据与在线交互相结合，以识别最佳策略。这种方法使用ope估计来热启动在线评估。然后，为了利用有限的环境相互作用，我们决定基于具有表示政策相似性的内核函数的贝叶斯优化方法来评估哪个策略。我们使用大量候选政策的多个基准，以表明所提出的方法提高了最先进的OPE估计和纯在线策略评估。
translated by 谷歌翻译
背景：虽然卷积神经网络（CNN）实现了检测基于磁共振成像（MRI）扫描的阿尔茨海默病（AD）痴呆的高诊断准确性，但它们尚未应用于临床常规。这是一个重要原因是缺乏模型可理解性。最近开发的用于导出CNN相关性图的可视化方法可能有助于填补这种差距。我们调查了具有更高准确性的模型还依赖于先前知识预定义的判别脑区域。方法：我们培训了CNN，用于检测痴呆症和Amnestic认知障碍（MCI）患者的N = 663 T1加权MRI扫描的AD，并通过交叉验证和三个独立样本验证模型的准确性= 1655例。我们评估了相关评分和海马体积的关联，以验证这种方法的临床效用。为了提高模型可理解性，我们实现了3D CNN相关性图的交互式可视化。结果：跨三个独立数据集，组分离表现出广告痴呆症与控制的高精度（AUC $ \ GEQUQ $ 0.92）和MCI与控制的中等精度（AUC $ \约0.75美元）。相关性图表明海马萎缩被认为是广告检测的最具信息性因素，其其他皮质和皮质区域中的萎缩额外贡献。海马内的相关评分与海马体积高度相关（Pearson的r $ \大约$ -0.86，p <0.001）。结论：相关性地图突出了我们假设先验的地区的萎缩。这加强了CNN模型的可理解性，这些模型基于扫描和诊断标签以纯粹的数据驱动方式培训。
translated by 谷歌翻译
虽然目前的研究表明了多参数MRI（MPMRI）在诊断前列腺癌（PCA）时，但如何纳入MPMRI数据的特定结构，例如区域异质性和体素之间的相关性需要进一步调查课程。本文提出了一种基于机器学习的方法，用于通过考虑数据的独特结构来改进Voxel-Wise PCA分类的方法。我们提出了一种多分辨率建模方法来解释区域异质性，其中基本学习者在多个分辨率训练的基础学习者使用超学习者组合，并通过有效的空间高斯内核平滑进行了voxel之间的相关性。该方法是灵活的，因为超学习框架允许实现任何分类器作为基础学习者，并且可以轻松扩展到将癌症分类为更多的子类别。我们描述了用于二进制PCA状态的详细分类算法，并且实施了加权似然方法的PCA的序号临床意义，以增强普遍普遍的癌症类别的检测。我们通过模拟和应用于体内数据来说明所提出的方法对传统建模和机器学习方法的优点。
translated by 谷歌翻译
深度强化学习（RL）导致了许多最近和开创性的进步。但是，这些进步通常以培训的基础体系结构的规模增加以及用于训练它们的RL算法的复杂性提高，而均以增加规模的成本。这些增长反过来又使研究人员更难迅速原型新想法或复制已发表的RL算法。为了解决这些问题，这项工作描述了ACME，这是一个用于构建新型RL算法的框架，这些框架是专门设计的，用于启用使用简单的模块化组件构建的代理，这些组件可以在各种执行范围内使用。尽管ACME的主要目标是为算法开发提供一个框架，但第二个目标是提供重要或最先进算法的简单参考实现。这些实现既是对我们的设计决策的验证，也是对RL研究中可重复性的重要贡献。在这项工作中，我们描述了ACME内部做出的主要设计决策，并提供了有关如何使用其组件来实施各种算法的进一步详细信息。我们的实验为许多常见和最先进的算法提供了基准，并显示了如何为更大且更复杂的环境扩展这些算法。这突出了ACME的主要优点之一，即它可用于实现大型，分布式的RL算法，这些算法可以以较大的尺度运行，同时仍保持该实现的固有可读性。这项工作提出了第二篇文章的版本，恰好与模块化的增加相吻合，对离线，模仿和从演示算法学习以及作为ACME的一部分实现的各种新代理。
translated by 谷歌翻译
We consider the problem of multiple agents sensing and acting in environments with the goal of maximising their shared utility. In these environments, agents must learn communication protocols in order to share information that is needed to solve the tasks. By embracing deep neural networks, we are able to demonstrate endto-end learning of protocols in complex environments inspired by communication riddles and multi-agent computer vision problems with partial observability. We propose two approaches for learning in these domains: Reinforced Inter-Agent Learning (RIAL) and Differentiable Inter-Agent Learning (DIAL). The former uses deep Q-learning, while the latter exploits the fact that, during learning, agents can backpropagate error derivatives through (noisy) communication channels. Hence, this approach uses centralised learning but decentralised execution. Our experiments introduce new environments for studying the learning of communication protocols and present a set of engineering innovations that are essential for success in these domains.
translated by 谷歌翻译
In recent years there have been many successes of using deep representations in reinforcement learning. Still, many of these applications use conventional architectures, such as convolutional networks, LSTMs, or auto-encoders. In this paper, we present a new neural network architecture for model-free reinforcement learning. Our dueling network represents two separate estimators: one for the state value function and one for the state-dependent action advantage function. The main benefit of this factoring is to generalize learning across actions without imposing any change to the underlying reinforcement learning algorithm. Our results show that this architecture leads to better policy evaluation in the presence of many similar-valued actions. Moreover, the dueling architecture enables our RL agent to outperform the state-of-the-art on the Atari 2600 domain.
translated by 谷歌翻译